随着神经体系结构搜索方法的发展,手动设计的深度神经网络(随着模型的复杂性升级)即使更快地升级 - 研究趋势朝着安排不同且通常越来越复杂的神经体系结构搜索空间的趋势。在这种结合中,可以有效探索这些搜索空间的描述算法可能会导致对当前使用的方法的重大改进,通常,这些方法随机选择结构变化操作员,希望能够获得性能增长。在本文中,我们研究了复杂域中不同变异算子的效果,即多网络异质神经模型的效果。这些模型具有结构的广泛而复杂的搜索空间,因为它们需要一般模型中的多个子网络,以便回答不同的输出类型。从该调查中,我们提取一组通用准则,其应用不限于该特定类型的模型,并且有助于确定架构优化方法可以找到最大改进的方向。为了推断一组准则,我们根据模型的复杂性和性能的影响来表征它们的变化操作员。这些模型依赖于各种指标,这些指标估算了组成它的不同部分的质量。
translated by 谷歌翻译